Fort Amber, Schlossanlage und militärische Festung